Plover: Steering GUI Agents through Plan-Centric Interaction
Plover:以计划为中心的人机协同 GUI Agent 系统
🧭 GUI Agent 的可监督规划与交互修正
University of California, Davis · Bosch Research North America
通过将任务计划外化为可编辑的交互工件,让用户能局部修正 Agent 行为而保持进度
📌 工作参考价值(4 点)
- 在业务 Agent 中暴露执行计划:对搜索推荐系统的多步调用(如意图解析→召回→排序→文案生成),可将内部步骤结构化为可读的计划树,让产品或运营人员实时查看、暂停或修改中间决策。
- 支持局部编辑与进度保持:当 Agent 某一步出错(如误判意图),允许直接编辑该步参数或替换子任务,而不丢弃已完成的有效步骤,避免全盘重试带来的延迟和算力浪费。
- 结合自然语言与界面截图交互:对于电商后台配置、广告创编等 GUI 密集型任务,可以借鉴自然语言指导与截图标注干预,让领域专家无需懂代码即可修正 Agent 行为。
- 借助失败案例分析改进 Agent 设计:通过显式记录计划执行轨迹,分析哪些步骤易出错,定向优化提示或模型,或积累常见修正模式用于主动提示用户或自动修复。